हाल ही में, आर्टिफिशियल इंटेलिजेंस के क्षेत्र में एक बार फिर हलचल मची है, मूनशॉट (Moonshot) ने अपने नए ऑप्टिमाइज़र म्यूऑन को ओपन सोर्स किया है, जिससे गणना दक्षता पारंपरिक एडमडब्ल्यू के मुकाबले दोगुनी हो गई है। इस नए ऑप्टिमाइज़र का लॉन्च डीपसीक के लगातार कई कोड बेस ओपन सोर्स करने के साथ हुआ है, जिससे उद्योग में बहुत ध्यान और चर्चा हुई है। म्यूऑन ऑप्टिमाइज़र को शुरू में 2024 में ओपनएआई के शोधकर्ता केलर जॉर्डन ने प्रस्तुत किया था, जो छोटे पैमाने के मॉडल प्रशिक्षण में उत्कृष्ट प्रदर्शन करता है।

मेटा की FAIR टीम ने हाल ही में Dualformer नामक एक नया Transformer मॉडल पेश किया है, जो मानव की द्विअर्थीय संज्ञानात्मक प्रणाली की नकल करता है और तेजी और धीमी विचार प्रक्रियाओं को बिना किसी बाधा के एकीकृत करता है, जिससे विचारधारा क्षमता और गणना दक्षता में महत्वपूर्ण सुधार हुआ है। मानव विचार प्रक्रिया को आमतौर पर दो प्रणालियों द्वारा नियंत्रित माना जाता है: प्रणाली 1 जो तेज और सहज होती है, और प्रणाली 2 जो धीमी लेकिन अधिक तर्कपूर्ण होती है। पारंपरिक Transformer मॉडल आमतौर पर प्रणाली 1 या प्रणाली 2 में से केवल एक का अनुकरण करते हैं।

गूगल द्वारा जारी किया गया NeuralGCM मॉडल मौसम पूर्वानुमान के क्षेत्र में महत्वपूर्ण प्रगति की है, जिसकी गणना दक्षता पारंपरिक भौतिक मॉडलों की तुलना में 100,000 गुना अधिक है, जो कि पिछले 25 वर्षों में उच्च प्रदर्शन कम्प्यूटिंग की प्रगति के बराबर है। मशीन लर्निंग और भौतिक मॉडलिंग को मिलाकर, NeuralGCM पृथ्वी के वायुमंडलीय स्थितियों को तेजी और सटीकता से अनुकरण कर सकता है, खासकर 2 से 15 दिनों के भीतर के मौसम की भविष्यवाणी करने में, जिसमें इसकी सटीकता मौजूदा मॉडलों को पार करती है। इस मॉडल की गति और गणना लागत भी महत्वपूर्ण रूप से बढ़ गई है, पारंपरिक मॉडलों की तुलना में लगभग 3500 गुना तेजी से और लागत में कमी आई है।